Huỳnh Thu Sinh với tên khai sinh Anthony William Perry sinh ra tại Hồng Kông và là con ngoài giá thú. Mẹ anh là người gốc Giang Môn, Quảng Đông. Ông ngoại anh bị quân Nhật giết trong chiến tranh nên mẹ anh cùng bà ngoại lánh sang Hồng Kông. Cha anh là một người Anh, cựu nhân viên trong Cục Vật tư của chính phủ Anh đóng tại Hồng Kông. Năm anh lên 4 tuổi, cha anh bỏ rơi hai mẹ con, từ đó anh lấy họ của mẹ, cuộc sống của hai mẹ con rất khốn khó.[3]